Article : L’équipe chinoise DeepSeek a récemment lancé son dernier grand modèle linguistique open source, R1, qui a suscité un vif intérêt. Les performances du modèle R1 sont exceptionnelles, surpassant le modèle o1 d’OpenAI dans de nombreux tests, notamment en mathématiques et en programmation. Lors du dernier test américain AIME2024, R1 a obtenu un score de 79,8 points, dépassant les 79,2 points de o1. Dans le test MATH-500, R1 a obtenu un score de 97,3 points, surpassant également o1.

IBM a récemment annoncé le lancement de la version 3.1 de son modèle linguistique open source Granite. Cette mise à jour apporte de nombreuses améliorations significatives. Le nouveau modèle a été repensé avec une architecture plus dense, capable de traiter jusqu'à 128 000 jetons à la fois. Cette mise à jour signifie que Granite est considérablement plus performant pour traiter des textes et des tâches complexes. Le modèle Granite 3.1 a été entraîné sur des ensembles de données de 12 langues et 116 langages de programmation, pour un total de 12 billions de jetons.

La société Shenzhen Yuanxiang Information Technology a récemment annoncé la publication de XVERSE-MoE-A36B, le plus grand modèle linguistique open source Mixture of Experts (MoE) de Chine. Cette publication marque une avancée majeure pour la Chine dans le domaine de l'IA, élevant les technologies open source nationales au niveau international.

Moore Threads a annoncé la mise en open source de son grand modèle linguistique MooER pour la compréhension audio, devenant ainsi le premier grand modèle linguistique open source basé sur un GPU national complet. MooER prend en charge la reconnaissance vocale et la traduction en chinois et en anglais, adopte une structure de modèle en trois parties et présente de puissantes capacités de traitement multilingue. Le code d'inférence et le modèle entraînés sur 5000 heures de données ont été rendus open source, et le plan est de rendre également open source le code d'entraînement et la version améliorée entraînée sur 80 000 heures de données. Lors des tests comparatifs, MooER-5K a démontré d'excellentes performances, avec un taux d'erreur de caractères (CER) de 4,21 % en chinois et un taux d'erreur de mots (WER) de 17,98 % en anglais.

Meta a récemment annoncé la publication en open source de son dernier modèle linguistique de grande taille, Llama 3.1 405B. Cette annonce majeure marque l'aboutissement d'un an de travail minutieux, de la planification du projet à la validation finale, le modèle Llama 3 étant enfin accessible au public. Llama 3.1 405B est un modèle multilingue à 1280 milliards de paramètres. Pré-entraîné sur des contextes de 8 000 jetons, il a ensuite été entraîné de manière continue sur des contextes de 128 000 jetons. Selon Meta, ce modèle offre des performances comparables à celles de GPT-4 sur plusieurs tâches.

Arcee AI a récemment publié son dernier modèle linguistique open source, Arcee-Nova. Basé sur Qwen2-72B-Instruct, il atteint des performances proches de GPT-4, démontrant d'excellentes capacités en raisonnement logique, écriture créative, génération de code, compréhension du langage et service client. Optimisé grâce à des ensembles de données polyvalents et un apprentissage par renforcement, Arcee-Nova offre une grande adaptabilité interdisciplinaire et se distingue au OpenLLM Leaderboard 2.0.

Apple et ses partenaires ont lancé DCLM, un grand modèle linguistique open source de 700 millions de paramètres, entraîné sur 2,5 billions de jetons de données. Il améliore considérablement la compréhension et la génération du langage. Au cœur de DCLM se trouve un outil d'optimisation de jeu de données standardisé, permettant aux chercheurs d'expérimenter sur la plateforme Hugging Face pour évaluer la qualité et les méthodes d'amélioration de différents jeux de données. Les recherches montrent que les jeux de données de référence créés à l'aide de DCLM permettent d'entraîner des modèles performants lors de tests clés, notamment en matière de...

Lors de la récente conférence Google I/O Berlin, Google a annoncé la publication en open source de son dernier modèle linguistique, Gemma2. Ce modèle a réalisé des avancées significatives en termes de performances et d'efficacité. Gemma2 est disponible en deux versions, avec 9 milliards et 27 milliards de paramètres. La version à 27 milliards de paramètres atteint des performances proches de celles du modèle Llama3 (70 milliards de paramètres), tout en étant environ 40% plus petite.

Dans la nuit, l'équipe d'Alibaba Cloud derrière Tongyi Qianwen a publié la série de modèles open source Qwen2. Cette série comprend cinq modèles pré-entraînés et finement ajustés pour les instructions : Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B et Qwen2-72B. Les informations clés indiquent que ces modèles présentent une augmentation significative du nombre de paramètres et des performances par rapport à la génération précédente, Qwen1.5.

Google publie le grand modèle linguistique open source Gemma. Les grands modèles linguistiques open source chinois affichent d'excellentes performances. InternLM2 surpasse Gemma et Llama sur plusieurs aspects. La compétition fait rage dans le domaine des grands modèles linguistiques open source. Le champ de bataille des grands modèles linguistiques est de plus en plus animé.

DeepSeek a publié un grand modèle linguistique de 67 milliards de paramètres, nommé DeepSeekLLM67B. Ce modèle est entièrement open source et accessible via chat.deepseek.com. DeepSeekLLM67B obtient de bons résultats sur les classements de référence publics, démontrant d'excellentes performances en raisonnement, mathématiques et programmation. DeepSeek a également rendu open source des modèles de 7B et 67B paramètres, ainsi que 9 checkpoints d'entraînement.

La startup finlandaise Silo AI a publié Poro, visant à améliorer les capacités de l'IA multilingue en Europe. Poro est un modèle open source couvrant les 24 langues officielles de l'UE, avec 3,42 milliards de paramètres. Poro utilise une méthode d'entraînement translinguistique pour résoudre les défis de performance de l'entraînement des langues à faibles ressources.